展示而非描述：评估生成像素中的空间认知而非LLM文本
🧭 空间推理评测框架 · 生成式像素评估
Zhejiang University
提出ProVisE框架，将图像生成模型的视觉答案解析为结构化预测，实现像素级空间推理的公平评测
📌 工作参考价值（4 点）
- 对电商中需要空间理解的生成任务（如虚拟试穿、商品摆放、AR场景）有评测启发：可借鉴“协议化视觉答案”思想，将模型生成的图像通过规则解析成结构化指标（如物品位置、遮挡关系），从而量化评估生成质量。
- Agentic protocol builder 能自动为新任务生成评测协议，可迁移到广告创意生成、商品主图优化等场景，降低人工设计评测规则的成本。
- 揭示了文本推理与像素表达的互补性，在推荐系统多模态交互（如对话式推荐+视觉展示）中，可结合文本VLMs做高层推理、图像生成模型做像素级细粒度表达。
- 整体方法论对构建统一的多模态推荐评测基准有参考价值，但直接业务应用场景有限，更适合学术评测框架设计。
SciForma：科学图表结构忠实生成框架
🧭 结构保真图表生成
Wangxuan Institute of Computer Technology, Peking University · State Key Lab of CAD & CG, Zhejiang University · Microsoft Research Asia
通过结构轴分解与多维度合取偏好优化，实现科学图表的结构忠实生成，超越开源模型与GPT-Image-1.5
📌 工作参考价值（3 点）
- 主要是学术贡献，对电商/广告/搜索推荐系统的直接迁移价值有限。
- 多维度合取偏好优化（M-DPO）可借鉴到推荐系统中平衡准确率、多样性、新颖性等多目标，强制同时达标，避免单一标量奖励忽视薄弱维度。
- 结构清单与迭代纠错的机制可迁移到 Agent 自动生成营销图文、技术架构图时的实时校验与修正流程。
提问、求解、生成：基于自洽奖励的自我进化统一多模态理解与生成
🧭 自我进化 · 统一多模态理解与生成
Mohamed bin Zayed University of Artificial Intelligence · Aalto University · Australian National University · Linköping University
仅用无标签图像，通过内部提问-求解-生成的自洽信号同时提升多模态理解与生成能力的自进化框架
📌 工作参考价值（4 点）
- 无标注自训练范式：利用自洽奖励信号（问答一致性）微调多模态模型，大幅降低电商商品图文理解/生成任务的标注成本，适合海量未标注商品图片场景。
- 熵引导的难度课程：Solver Token Entropy（STE）可作为连续难度指标，在模型训练中实现自适应课程学习，优先选择信息量大的样本，提升训练效率与稳定性。
- 多尺度生成评估：组合问答保真度评分与循环一致性描述的内部评估方案，可迁移到商品图生成的质量自动评分，无需人工审核。
- 架构无关的设计模式：角色分解与奖励逻辑在不同生成架构（扩散/整流流/自回归）上即插即用，方便接入现有多种多模态模型底座。
TMP：大规模图像生成与编辑的树结构混合剪枝框架
🧭 大规模图像生成模型的结构化剪枝与优化
Multimodal Model Department, Tencent
首个树结构混合策略剪枝框架，统一 MoE 和 DiT 架构，将 80B 混元图像压缩至 20B（75%），质量损失有限，实现单卡推理
📌 工作参考价值（4 点）
- 剪枝策略的混合设计思想可迁移至大规模推荐模型（如多专家用户点击率模型）的压缩：针对不同模块（专家层、注意力层）采用差异化剪枝策略，而非一刀切
- 工程上实现 80B→20B 后单卡（24GB）推理的优化经验（如 KV cache 裁剪、内存调度）对部署巨型推荐模型有直接参考价值
- 树结构搜索最优剪枝率的方法论可借鉴：在推荐系统召回 / 排序模型的剪枝中，自动搜索各层的压缩比，平衡精度与效率
- MoE 架构的剪枝方案（如专家丢弃、路由剪枝）为电商搜索广告中的多专家模型（如多目标专家网络）压缩提供新思路
RiT：普通扩散Transformer在表示空间即可胜任
🧭 生成模型 · 表示空间训练
Mila – Québec AI Institute · Université de Montréal · Utrecht University · Canada CIFAR AI Chair
利用DINOv2特征的优良统计特性，仅用普通DiT加x-prediction实现高效极速图像生成
📌 工作参考价值（4 点）
- 用语义表示替代像素空间做生成式推荐：预训练语义嵌入（如 DINOv2）的内在维度与像素相似，但有效秩更高、协方差条件更好，使扩散模型训练更稳定、采样更快。在推荐场景中，可将用户行为序列或物品的语义 embedding 作为扩散目标，替代原始 ID 或 VAE latents，降低建模难度。
- 维度感知噪声调度：不同特征维度可能包含不同层次的信息，RiT 对不同维度施加不同的噪声水平，避免各向同性噪声破坏低维结构。在生成序列或行为嵌入时，可对主要变化维度与噪声维度区别对待，提升生成质量。
- 联合 [CLS]-patch 建模：在序列生成中，类似地引入一个全局 token（如 user state）参与扩散过程，并与局部 patch（行为 sub-sequence）联合建模，可能比独立生成各步行为更连贯。
- 快速采样的工程优势：无需蒸馏或一致性训练，RiT 仅用 5~10 个 Heun 步骤即可达到高画质。这为在线推荐中实时生成候选集（如 top-N 物品）提供了可能，大幅降低推理延迟。
对齐潜空间几何以实现球面流匹配图像生成
🧭 球面潜在流匹配优化生成质量
将扩散模型潜空间的线性插值改为球面线性插值，仅微调解码器即可提升生成质量
📌 工作参考价值（3 点）
- 对于电商中的商品图生成等视觉任务，直接将扩散模型潜空间的线性插值替换为球面插值（slerp），并配合固定半径投影与解码器微调，可在不改动主干网络的前提下提升FID，工程改动小，效果稳健。
- 方向分量主导语义的洞察可迁移到推荐系统的表示学习：将用户/物品embedding归一化到固定球面，分离语义（方向）与强度（半径），有助于提升表示对齐和相似度计算的稳定性。
- 冻结编码器、只微调解码器的策略，是一种低成本的分布适配技巧，适用于其他需要将高斯先验对齐到特定几何结构的生成式模型场景。